技经观察丨人工智能生成技术的深度伪造风险与应对

深度伪造（Deepfake）是一种合成媒体形式，它使用人工智能来创建看似真实的视频或图像。目前，深度伪造技术已被用于影视制作等各种场景，但同时引发了人们对其可能被滥用于恶意目的的担忧，如传播错误信息和操纵舆论。2022年以来，随着ChatGPT、文心一言等生成式人工智能模型的不断进步和趋于成熟，人工智能技术引发强烈关注。目前，人工智能生成的虚假音视频已经能够达到以假乱真的地步，成功实施的欺骗案例日渐增多。面对这一情形，各国已从立法、技术手段加以应对。但是，深度伪造与反深度伪造仍将是“猫追老鼠”的长期博弈，人工智能技术持续进步产生的深度伪造风险将与日俱增，需要持续关注与应对。

一、生成式人工智能模型展现出惊人能力，或扩大深度伪造的风险

深度伪造这一概念最早出现在2016年，一开始专指基于深度学习的人像合成技术，现在这一概念已经扩展到视频伪造、声音伪造、文本伪造和微表情合成等多模态合成技术。

深度伪造样例

当下，以Midjourney、DALL-E、Stable Diffusion等为代表的专业生成式人工智能模型，能够通过用户输入的图像和文字生成以假乱真的图像。生成式人工智能的进步对深度伪造技术领域具有重大影响，因为它可能有能力生成与现实难以区分的高度可信的假视频、图像和音频。这可能会使识别和防止深度伪造内容传播变得更加困难。

随着人工智能模型创作虚假视频的逼真程度不断提高，深度伪造技术日益被视为“巨大的社会威胁”。例如，一个名为ModelScope的新型创意人工智能系统现在已经可以根据文本提示制作短视频。有网络用户使用ModelScope创作了马克龙在巴黎街头拾荒的虚假视频片段。2023年4月，在拜登宣布有意再次竞选美国总统后，共和党全国委员会用基于人工智能生成的广告对拜登进行了攻击，使用人工智能生成了一系列虚假图像，虚构了拜登连任后美国经济崩溃、非法移民猖獗和犯罪浪潮迭起等情形。5月，一张五角大楼爆炸的人工智能伪造图片在网络上广泛传播。可见，政治相关的伪造图片容易产生较高的热度，未来可能进一步成为人工智能造假的“重灾区”。

伪造的“五角大楼爆炸”图片

二、日益严重的深度伪造安全问题引发广泛重视

（一）深度伪造安全问题引发重视，政策先行

深度伪造可能被用制作虚假信息，对社会安全构成了多方面的威胁，因此引发了各经济体重视。中国、美国和欧盟等经济体已推出相关政策措施来应对深度伪造风险。

中国方面，2021年起，国家网信办、国家发改委、教育部、科技部、工信部、公安部、市场监管总局、广电总局等有关主管部门已出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法律法规，对计算机合成内容进行管控。《互联网信息服务算法推荐管理规定》要求对算法生成合成的信息做显著标识，并要求提供互联网新闻信息服务的算法推荐服务提供者和使用者，不得生成合成虚假新闻信息。《互联网信息服务深度合成管理规定》则更加细致地规定了包括智能对话、智能写作、人脸生成、人脸操控、姿态操控等具有生成或显著改变信息内容功能的深度合成服务应当遵守的要求，包括以显著标识的形式向公众提示。7月最新发布的《生成式人工智能服务管理暂行办法》进一步对生成式人工智能的开发与使用等进行规范，旨在促进生成式人工智能健康发展和规范应用。

美国方面，美国众议员亚当·希夫（Adam Schiff）等人在2018年致时任国家情报总监丹·科茨（Dan Coats）的信中，首次对深度伪造技术于美国公共舆论和国家安全造成的威胁提出警告。据央视报道，仅在2022年，美国就发生了240万起人工智能相关诈骗案。近年来，随着人工智能生成虚假信息的进一步蔓延传播并广泛用于实施欺骗行为，美国加强立法监管。2023年5月，在共和党全国委员会发布了生成式人工智能制作的政治广告后，美国众议员伊维特·克拉克（Yvette Clarke）提出了《真实的政治广告法案》（The REAL Political Ads Act），对竞选广告提出人工智能生成内容披露要求。6月，美国众议员里奇·托雷斯(Ritchie Torres)提出《人工智能披露法案》（The AI Disclosure Act），提议在任何人工智能生成的内容中添加披露声明。

欧盟方面，欧盟于2022年6月更新《反虚假信息行为准则》（Code of Practice on Disinformation），要求社交媒体公司从其平台上删除深度伪造和其他虚假信息，否则将处以高达公司全球营收6%的罚款。欧盟《数字服务法》(The Digital Services Act，DSA)也要求平台展示举报和删除非法内容的机制。

（二）识别深度伪造的技术手段正不断进步

随着深度伪造内容变得越来越复杂，研究人员正开发更好的方法，以便准确发现它们。例如，利用棋盘伪影、共现矩阵等方法，可检测生成对抗网络（GAN）生成的虚假视频；利用面部特征检测等方法，可检测以换脸方式伪造的视频；利用信息的多模态特征，可检测由多种信息组合而成的假新闻等。美国国防部资助了大量检测虚假信息的研究。例如，美国国防部高级研究计划局（DARPA）于2020年7月发起“对欺骗的逆向工程”（Reverse Engineering of Deceptions，RED）项目，旨在运用人工智能技术，对深度伪造视频、照片、音频、文字及其制造这些内容的工具链进行逆向工程分析。在检测包含人物的深度伪造画面方面，研究机构主要通过面部特征来识别深度伪造。美国纽约州立大学奥尔巴尼和布法罗分校联合研究团队通过瞳孔形状识别深度伪造；美国纽约州立大学布法罗分校通过眼球反射的光线识别深度伪造；美国纽约州立大学宾汉顿分校和英特尔公司提出使用血氧仪原理识别深度伪造。对于人工智能生成的文字，美国堪萨斯大学研究人员介绍了一种算法，识别人工智能生成段落的准确率达到92%以上。此外，微软公司希望在画面生成时即进行注明，将通过标记元数据的方式帮助用户识别人工智能生成的图像与视频。

使用瞳孔形状识别深度伪造

（三）深度伪造或成为一种潜在的国际冲突对抗手段

在意识到深度伪造技术的强大破坏力后，某些国家或正在考虑将深度伪造技术作为冲突中的对抗手段，从而维护自身的政治外交利益。2023年1月，美国智库布鲁金斯学会发布《深度伪造与国际冲突》（Deepfakes and International Conflict）报告。该报告指出，随着人工智能技术进步、计算成本不断下降，深度造假技术在武装冲突期间对在线信息环境构成越来越大的挑战。一国可以伪造冲突方军事领导人的音视频指令，在公众和武装部队中制造混乱。例如，俄乌冲突初期，一条关于乌克兰总统泽连斯基的深度伪造视频在社交平台广为流传。为此，布鲁金斯学会建议：美国及其盟友的安全官员和政策制定者更深入地了解该技术的工作原理，以及它在国际武装冲突中的多种使用方式；在部署深度伪造技术前需充分评估收益和风险，并借鉴现有的国际规范和先例，为政府使用深度伪造技术制定行为准则。

布鲁金斯学会的报告表明，某些国家内部可能存在一种声音，支持使用深度伪造技术来进行域外的信息干扰、虚假信息传播等行动，强化其信息优势，从而更好地实现其外交目标。若未来这一想法得到贯彻和推广，将对全球政治安全和稳定产生严重冲击。

三、深度伪造治理面临的挑战

深度伪造技术的发展引发了长期的动态博弈，这使得识别真实和虚假内容变得愈发困难。需要进行长期思考和探索如何防止这种技术的滥用。

（一）监管和立法有待进一步加强

治理深度伪造技术的前提是对人工智能技术进行合理、有效的监管。当前，全球主要经济体和联合国已充分认识到监管人工智能的重要性。我国已前瞻性出台相关法律法规；美国政府正听取多方意见，酝酿人工智能监管立法，并同意应建立人工智能监管机构；欧盟出台人工智能监管临时政治协议，并正在就《人工智能法案》（The AI Act）进行最终谈判；联合国表态支持建立一个类似于国际原子能机构的国际人工智能监管机构。面向未来风险的治理，需要长远考量如何监管和解决与人工智能技术相关的潜在风险，让技术更好地为创新和生产力提升所用，需要通过法律法规来为人工智能的发展和应用设置安全底线。

（二）监管科技亟待进步

在完善监管政策的同时，监管者也需要利用更好的工具来检测和防止深度伪造。人工智能工具不断增强的模态识别能力有望为监管打造强有力的技术工具。例如，运用图像处理技术、多模态分析技术、建立深度伪造数据集、使用防伪技术，都能在一定程度上有效地检测深度伪造。当前，换脸视频、机器写作等大多数的深度伪造内容都是较为粗糙、容易被检测出的，但深度伪造技术也在不断发展，未来将更加难以识别。因此，对抗深度伪造需要持续的研究和技术创新。

（三）深度伪造与识别将是长期动态博弈

深度伪造的传播和识别，将始终像“猫追老鼠”一样，是一个不断发展、制衡的过程。不能“一刀切”式地禁用深度伪造技术，否则将极大影响技术创新和应用拓展。一方面，深度伪造技术的提供者和使用者应树立责任意识。2023年5月，美国OpenAI公司首席执行官萨姆·奥尔特曼（Sam Altman）出席美国国会听证会时表示，同意对人工智能进行基于风险的监管。同月，抖音集团发布关于人工智能生成内容的平台规范暨行业协议，其中提到用户在抖音平台发布信息时，需要对人工智能生成内容进行显著标识，以及对生成内容产生的相应后果负责。另一方面，还需要培养公众的数字素养，提高公众对深度伪造的认识和辨别能力。通过社会各界的努力，来共同控制深度伪造的风险，让技术服务于创新与生产力进步。

作者简介

唐乾琛 国务院发展研究中心国际技术经济研究所研究二室

研究方向：信息领域战略、技术和产业前沿

联系方式：[e-mail]

推荐阅读

编辑丨郑实

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：[phone]

微信：iite_er